Recent work has reported that AI classifiers trained on audio recordings can accurately predict severe acute respiratory syndrome coronavirus 2 (SARSCoV2) infection status. Here, we undertake a large scale study of audio-based deep learning classifiers, as part of the UK governments pandemic response. We collect and analyse a dataset of audio recordings from 67,842 individuals with linked metadata, including reverse transcription polymerase chain reaction (PCR) test outcomes, of whom 23,514 tested positive for SARS CoV 2. Subjects were recruited via the UK governments National Health Service Test-and-Trace programme and the REal-time Assessment of Community Transmission (REACT) randomised surveillance survey. In an unadjusted analysis of our dataset AI classifiers predict SARS-CoV-2 infection status with high accuracy (Receiver Operating Characteristic Area Under the Curve (ROCAUC) 0.846 [0.838, 0.854]) consistent with the findings of previous studies. However, after matching on measured confounders, such as age, gender, and self reported symptoms, our classifiers performance is much weaker (ROC-AUC 0.619 [0.594, 0.644]). Upon quantifying the utility of audio based classifiers in practical settings, we find them to be outperformed by simple predictive scores based on user reported symptoms.
translated by 谷歌翻译
Since early in the coronavirus disease 2019 (COVID-19) pandemic, there has been interest in using artificial intelligence methods to predict COVID-19 infection status based on vocal audio signals, for example cough recordings. However, existing studies have limitations in terms of data collection and of the assessment of the performances of the proposed predictive models. This paper rigorously assesses state-of-the-art machine learning techniques used to predict COVID-19 infection status based on vocal audio signals, using a dataset collected by the UK Health Security Agency. This dataset includes acoustic recordings and extensive study participant meta-data. We provide guidelines on testing the performance of methods to classify COVID-19 infection status based on acoustic features and we discuss how these can be extended more generally to the development and assessment of predictive methods based on public health datasets.
translated by 谷歌翻译
The UK COVID-19 Vocal Audio Dataset is designed for the training and evaluation of machine learning models that classify SARS-CoV-2 infection status or associated respiratory symptoms using vocal audio. The UK Health Security Agency recruited voluntary participants through the national Test and Trace programme and the REACT-1 survey in England from March 2021 to March 2022, during dominant transmission of the Alpha and Delta SARS-CoV-2 variants and some Omicron variant sublineages. Audio recordings of volitional coughs, exhalations, and speech were collected in the 'Speak up to help beat coronavirus' digital survey alongside demographic, self-reported symptom and respiratory condition data, and linked to SARS-CoV-2 test results. The UK COVID-19 Vocal Audio Dataset represents the largest collection of SARS-CoV-2 PCR-referenced audio recordings to date. PCR results were linked to 70,794 of 72,999 participants and 24,155 of 25,776 positive cases. Respiratory symptoms were reported by 45.62% of participants. This dataset has additional potential uses for bioacoustics research, with 11.30% participants reporting asthma, and 27.20% with linked influenza PCR test results.
translated by 谷歌翻译
适当的评估和实验设计对于经验科学是基础,尤其是在数据驱动领域。例如,由于语言的计算建模成功,研究成果对最终用户产生了越来越直接的影响。随着最终用户采用差距的减少,需求增加了,以确保研究社区和从业者开发的工具和模型可靠,可信赖,并且支持用户的目标。在该立场论文中,我们专注于评估视觉文本分析方法的问题。我们从可视化和自然语言处理社区中采用跨学科的角度,因为我们认为,视觉文本分析的设计和验证包括超越计算或视觉/交互方法的问题。我们确定了四个关键的挑战群,用于评估视觉文本分析方法(数据歧义,实验设计,用户信任和“大局”问题),并从跨学科的角度为研究机会提供建议。
translated by 谷歌翻译
网络对齐或在不同网络中查找相应节点的任务是许多应用程序域中的重要问题。我们提出了CAPER,这是一个多级比对框架,它使输入图更粗糙,将粗糙的图对齐,将对齐解决方案投射到更精细的级别并完善对齐解决方案。我们表明,CAPER可以通过在多个图形分辨率上执行对齐一致性来改善许多不同的现有网络对齐算法:在更较高的级别上,匹配的节点也应在更粗的级别匹配。CAPER还可以通过允许其在输入图的较小的粗糙版本上运行,以线性时间的粗化和完善步骤的适度成本加速使用较慢的网络对齐方法。实验表明,刺山柑可以对不同的网络比对方法的改进,其准确性和/或运行时的准确性和/或数量级平均可以提高33%。
translated by 谷歌翻译
对自我监督学习(SSL)的最新分析发现,以下以数据为中心的属性对于学习良好表示至关重要:对任务 - 无关紧要的语义的不变性,在某些潜在空间中的类别可分离性以及从增强样品中可恢复标签的类别。但是,鉴于它们的离散,非欧成功的性质,图形数据集和图SSL方法不太可能满足这些属性。这提出了一个问题:如何绘制SSL方法(例如对比度学习(CL))如何工作?为了系统地探究这个问题,我们在使用通用图扩展(GGAS)时对CL进行概括分析,重点是以数据为中心的属性。我们的分析对GGA的局限性以及与任务相关的增强的必要性产生了正式见解。正如我们经验表明的那样,GGA不会在共同基准数据集上引起与任务相关的不变性,这只会导致对天真的,未经训练的基线的边际收益。我们的理论激发了合成数据生成过程,该过程能够控制与任务相关的信息并拥有预定义的最佳增强。这种灵活的基准测试有助于我们确定高级增强技术(例如自动化方法)中未认可的限制。总体而言,我们的工作在经验和理论上都严格地对以数据为中心的属性对图形SSL的增强策略和学习范式的影响进行了严格的背景。
translated by 谷歌翻译
虽然直接进行微调(FT)大规模调查,但在特定于任务数据上进行了预定的模型,众所周知,可以引起强大的分配任务绩效,但最近的作品表明,不同的适应协议,例如线性探测(LP),例如线性探测(LP) ft,可以改善分布的概括。但是,此类适应协议的设计空间仍未探索,并且对此类协议的评估主要集中在分配转移上。因此,在这项工作中,我们评估了跨分布转移和机器学习安全指标(例如,异常检测,校准,对腐败的鲁棒性)的共同适应协议。我们发现协议引起了不同的权衡,这些权衡从事先评估中显而易见。此外,我们证明,适当的数据增强和协议可以大大减轻这种权衡。最后,我们假设并从经验上看到,在LP期间使用促进硬度的增强功能,然后使用增强功能对ft进行ft可能对缓解折衷尤其有效。
translated by 谷歌翻译
我们研究图形神经网络(GNN)的节点分类任务,并在群体公平性(通过统计平等和均等机会衡量)之间建立联系,以及局部分类性,即连接节点的趋势具有相似的属性。这种分类性通常是由同质性诱导的,即相似特性的节点连接的趋势。同质性在社交网络中可能很常见,在社交网络中,系统性因素迫使个人进入具有敏感属性的社区。通过合成图,我们研究了本地发生的同质和公平预测之间的相互作用,发现并非所有节点邻居在这方面都相等 - 社区以敏感属性的一类类别为主导,通常会努力获得公平的治疗,尤其是在分化本地类别和敏感属性同质。在确定存在局部同质和公平之间的关系之后,我们研究了不公平的问题是否与应用的GNN模型的设计相关联。我们表明,通过采用能够处理拆卸组标签的异性GNN设计,与真实和合成数据集中的同质设计相比,可以将本地异性邻居中的群体公平提高25%。
translated by 谷歌翻译
图表示学习在许多图挖掘应用中都起着重要作用,但是大规模图的学习嵌入仍然是一个问题。最近的工作试图通过图形摘要提高可扩展性 - 即,他们在较小的摘要图上学习嵌入,然后还原原始图的节点嵌入。但是,所有现有的作品都取决于启发式设计和缺乏理论分析。与现有作品不同,我们根据引入的内核矩阵对三种特定的嵌入学习方法进行了深入的理论分析,并揭示了通过图形摘要的学习嵌入实际上是在配置模型构造的近似图上学习嵌入的嵌入。我们还对近似误差进行了分析。据我们所知,这是对这种方法进行理论分析的第一项工作。此外,我们的分析框架可以解释某些现有方法,并为对此问题的未来工作提供了很好的见解。
translated by 谷歌翻译
生成的对抗网络(GAN)是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族,该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下,与传统的生成方法相比,GAN在捕获空间复杂,非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献,包括阿尔茨海默氏病,脑肿瘤,脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释,并进一步讨论了在神经影像学中利用gans的主要挑战,开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策,并有助于更好地理解脑部疾病的结构和功能模式,从而弥合先进的深度学习方法和神经病学研究之间的差距。
translated by 谷歌翻译